Intern-Decision：自回归掩码语言建模的高效多模态决策模型
🧭 Agent 结构化决策 · 多模态小模型 ★ 深度解读
Shanghai AI Lab · Shanghai Jiao Tong University · Fudan University · Nanyang Technological University
用单次前向的自回归掩码决策替代自由文本生成，输出结构化选择与候选概率，4B模型七套评测集平均准确率90.02%
📌 工作参考价值（4 点）
- 用“掩码决策字段 + 单次前向”替代 free-form JSON 生成或逐字段循环打分，适合电商/广告中高频闭集判断：意图分类、tool routing、风控/安全审核、多字段表单决策等。
- 保留 Qwen 等 causal backbone 与 native LM head，在 assistant skeleton 的 <decision> 占位符前一个 token 读 logits，对 legal options 做 softmax 得到候选概率；无需额外分类头或逐字段前向，且多字段共享 state，减少重复 prefill。
- 对概率输出做 post-hoc temperature scaling 能显著改善 Brier / ECE；可用小模型置信度阈值触发大模型接管，适合难例路由、广告审核升级、搜索结果重排等场景，在精度和成本之间选操作点。
- 多模态输入（文本+可选图像）输出离散动作，适合 GUI Agent、商品图审核、直播画面判断等“看截图→做选择”的闭环任务；训练时冻结 vision tower 可低成本复用预训练视觉能力。
LEV：循环决策模型实现快速与深度思考
🧭 循环决策模型 · 自适应深度推理
Lehigh University · University of British Columbia · Vector Institute
提出 LEV，通过循环重跑层而非生成 token 实现自适应深度推理，在决策任务上以低计算开销提升准确率
📌 工作参考价值（4 点）
- 在排序/CTR 预估模型中引入循环 Transformer 层，共享权重跑多步，让模型根据样本难度自适应停止，在线推理可节省 15-24% 计算，准确率损失 <1 点，适合高 QPS 的广告精排场景。
- 借鉴 LEV 的联合训练策略：对每个循环步骤都计算损失并回传，训练时模拟不同深度，使一个 checkpoint 支持任意推理深度，便于线上动态调整 latency-accuracy 平衡点，无需部署多套模型。
- 设计轻量 stopper 网络，利用未标注请求（如线上曝光日志）拟合停止阈值，避免人工标注难度，可直接迁移到推荐系统中做自适应 early exit，在低延迟约束下最大化效果。
- 该工作表明循环层优于同延迟的稠密模型和级联模型（5.4-8.8 点提升），因此在资源受限的端侧或边缘推荐场景中，优先考虑循环架构而非简单加深或级联。
HLA：基于分块动态混合的高表达混合线性注意力
🧭 高效长上下文注意力机制 ★ 深度解读
Monash University · Zhejiang University
将历史 chunk 表示为仿射转移并用查询相关门控动态混合，提升长上下文检索
📌 工作参考价值（4 点）
- 对长序列用户行为/会话建模：可将历史按固定长度切 chunk，用 self-attentive pooling 得到 chunk 代表向量，再基于当前 query/item state 计算 sigmoid 门控，稀疏选择相关历史 chunk；论文中 chunk size 256、pooling window 32 是最优 trade-off，可作为初始超参。
- 工程上：HLA 用 chunk 级仿射转移 (A_j,B_j) 压缩历史，缓存规模为 N(d^2+Pd)，chunk=256 时比匹配 KV cache 省 50%；推理时权重<0.1 直接置零且不重新归一化，可跳过零权重状态转移，适合长会话推荐或 Agent 记忆系统做稀疏检索。
- 训练目标：用 effective support（Hill number）构造 L_budget/L_support，鼓励每个 query 只路由到少量历史 chunk，提升推理稀疏性和长程泛化；业务上可只训练 router、冻结 backbone，低成本改造已有 GDN/线性注意力模型。
- 局限：论文未评测 Agent 多轮工具调用、持续记忆等场景，且推理延迟增加约 10–19%；若用于长程 Agent 记忆或电商超长上下文排序，需自行补充多轮、跨任务、工具反馈评测。
REVA：可复用证据视图聚合实现上下文高效 RAG 服务
🧭 RAG 上下文压缩 · 注意力挖掘与复用 ★ 深度解读
VinUni-Illinois Smart Health Center, VinUniversity, Vietnam · University of Illinois Urbana-Champaign, USA
挖掘历史查询-文档注意力聚合为可复用证据视图，以极低在线开销实现高质量 RAG 上下文压缩
📌 工作参考价值（4 点）
- 电商搜索/推荐 RAG 场景中商品、评论、内容文档重复检索率高，可离线挖掘目标 LLM 对文档的注意力，构建文档级 evidence score store，线上只做轻量视图渲染，将压缩延迟从百 ms 级降到几十 ms。
- 借鉴 word-unit 聚合：不直接存储 token 级分数，而是合并为可读词单元（保护价格、型号、日期等短结构化片段），避免输出碎片化，便于审计与 Debug。
- 采用 budget-agnostic 的 score store：同一份文档分数支持不同 prompt 预算；local 等额配额是默认安全策略，global 按历史效用重分配适合证据分布不均的多跳/对比类场景。
- 注意兼容性 key（generator/tokenizer/template/corpus version），避免跨模型或语料版本错误复用分数；可用异步更新和指数衰减应对 query 分布漂移。
A*-Thought-V2：基于 LLM 几何动力学的高效隐式推理
🧭 LLM 推理加速 · 隐式 CoT 压缩
Beijing University of Posts and Telecommunications · The Hong Kong Polytechnic University · Tsinghua University · JIUTIAN Research · OpenBMB
用 hidden state 几何方向判断 CoT 步骤价值，对齐步骤显式保留、偏离步骤压缩为 latent token，提升精度与效率
📌 工作参考价值（4 点）
- 在电商/Agent 的 LLM 推理链路中，可借鉴「几何对齐」做步骤级压缩：对商品推荐理由、query 改写、广告文案生成的 CoT，计算当前 step 到最终 answer 的 hidden state 夹角，保留小角度的直接执行步骤，把大角度的探索/校验步骤压缩为 latent token，降低 context 与 KV cache 占用。
- 训练侧可用 stepwise embedding forcing + label forcing：压缩冗余步骤时不丢弃信息，池化为单 embedding 并用 soft token distribution 监督，这比 hard truncation 更适合推荐/搜索中的行为序列、商品描述等中间信息压缩，能保留分布与多峰语义。
- 若业务要处理大规模 query/商品推理流水线，A*-Thought-V2 报告的训练成本下降（预处理 -94.6%、训练 -80.3%）和 Accuracy per Computation Unit 2.29x 可作为 ROI 参考；但需在 Qwen3.5/3.6 这类模型上复现验证，小模型或非推理任务迁移前要做适配。
- 表示分析结论：latent token 位置熵更高，soft target 提供更丰富特征学习——在生成式推荐里对 Semantic ID 或 item 描述序列做压缩时，可考虑不强制 hard one-hot，而保留软分布以 capture 多义性。
ShallowStream：浅层索引、深层回答的流式视频理解框架
🧭 多模态流式视频高效推理
Harbin Institute of Technology (Shenzhen)
用 MLLM 浅层同时做帧编码与索引构建，查询时按浅层注意力打分并多样性选帧，延迟降低最高 52.1 倍且性能对齐强基线
📌 工作参考价值（4 点）
- 直播电商/短视频理解场景可用“浅层预填充建索引、深层仅对选中片段推理”的两段式架构：常驻只保留浅层 KV cache，在线视频帧不断写入轻量索引，查询时只对高相关帧做完整深度计算，大幅降低延迟与显存。
- 用浅层 attention score 做 query-aware 帧打分，不需要额外训练检索器；类似推荐里用注意力分数筛选候选 item 或行为序列，能把用户当前 query / 意图与视觉片段相关性评估集中到轻量模型。
- diversity-aware selection 可直接迁移到推荐/广告视频素材或直播切片选取：在相关帧集合上做多样性采样，避免连续重复/相似画面霸屏，提升信息覆盖与用户体验。
- 工程上可借鉴“按 prefill depth 分层 KV cache”思路：在线流式处理时低频深算、高频浅算，对长视频/直播流式多模态 LLM 服务有直接成本收益。
MoE-ViE：用于高效图像与视频理解的混合专家视觉编码器
🧭 视觉编码器 MoE 高效扩展
Meta
系统研究 CLIP 视觉编码器的 MoE 设计，以细粒度拓扑与无辅助损失均衡实现高效扩展并超越稠密模型
📌 工作参考价值（4 点）
- 电商多模态召回/排序依赖 CLIP 式视觉编码器，可替换为 MoE-ViE 类细粒度 MoE 编码器，在商品图片/视频特征提取中获得更高吞吐、更低延迟；其专用 MoE kernel 可直接借鉴到线上推理优化。
- 细粒度 MoE 拓扑与无辅助损失均衡方法可迁移到多模态特征塔或用户行为序列编码器，减少专家负载不均衡和训练不稳定，提升模型容量扩展效率。
- 视频理解中的帧级蒸馏与冻结机制适合电商直播/短视频场景：在已有图像编码器基础上增量扩展视频能力，避免灾难性遗忘，无需从头预训练视频模型。
- 对于多模态 Agent（如商品问答、视觉搜索），视觉编码器是延迟瓶颈之一，采用 MoE-ViE 可在保持精度下降低端到端延迟，适合交互式场景。
注视引导的动态令牌选择让视觉 Transformer 更鲁棒高效
🧭 高效视觉Transformer · 动态令牌选择
Advanced Research Lab, NavInfo Europe · Eindhoven University of Technology
模拟人眼中央凹视觉，动态选择重要 token 并融合多尺度信息，在 50% 预算下超越 DeiT-S 且计算量降低 34.57%
📌 工作参考价值（4 点）
- 论文属于计算机视觉领域，与推荐系统、对话 Agent 等无直接关联，业务可借鉴的模块和方法有限。
- 动态 token 选择的思想可类比于用户行为序列处理：在计算资源受限时，通过简单前馈模块（类似 fixation）丢弃不重要的行为 token，保留关键交互，可提升效率且潜在增强鲁棒性。
- 多尺度“中央凹”嵌入生成方式（foveation）可启发商品图像编码：对商品图的不同区域按显著性分配注意力分辨率，在图像搜索或推荐缩略图生成中平衡精度与算力。
- 无额外对抗训练即获得鲁棒性的特性，提示在推荐模型部署时可通过结构设计（而非仅依赖数据增强）改善对噪声特征或异常行为的容忍度。
Light-Omni：以反思取代推理的轻量级长时记忆视频智能体
🧭 Agent 轻量级视频理解框架
Nanjing University
通过全局与隐状态实现单步上下文驱动动作，以反射取代迭代推理，速度提升12.1倍、精度提高2.4%
📌 工作参考价值（4 点）
- 全局状态压缩历史的方法可迁移到推荐系统的用户行为序列建模：通过层次化合并保留近期细节、总结远期事件，平衡记忆容量与信息保真度
- 隐状态直接驱动动作的架构能避免昂贵的长链推理，适用于实时推荐中的快速决策（如排序、召回策略的动态生成）
- 双状态设计（全局上下文 + 条件化隐状态）分离了语义理解与动作执行，可借鉴到 Agent 框架中提升检索语义对齐性
- 记忆系统作为即插即用模块增强现有模型，推荐大模型可引入类似长短期记忆以提升连续会话的上下文一致性
分层稀疏注意力HiLS：端到端分块选择实现无限上下文建模
🧭 分层稀疏注意力 · 超长上下文外推与高效推理
Tencent HY Team · ShanghaiTech University · The Hong Kong University of Science and Technology · University of California, San Diego
提出HiLS Attention，端到端学习分块选择的分层稀疏注意力，推理加速且外推超64倍训练长度
📌 工作参考价值（4 点）
- 在电商推荐的长用户行为序列建模中，可借鉴HiLS的分块检索与端到端选择机制，自动关注关键历史块，突破全注意力计算瓶颈，同时保持预测性能。
- 对于RAG或Agent长上下文场景，分层地标（landmark）压缩文档/对话历史，实现高效检索式注意力计算，既能大幅降低KV缓存，又能外推到极长序列，适合在线长对话或长文档问答。
- HiLS提供全注意力模型的轻量级继续预训练转换方案，已有模型（如推荐系统、对话模型）只需少量训练即可获得超长上下文能力和推理加速，便于业务快速升级。
- 推理时只缓存被选中的分块KV，降低解码内存和延迟（预填充加速9.3x，解码加速15.7x），适合在线服务对长序列实时响应的要求。
可控稀疏的混合注意力：通过可学习分配优化FA/SWA组合
🧭 高效LLM推理 · 混合注意力稀疏分配 ★ 深度解读
Institute of Information Engineering, Chinese Academy of Sciences · School of Cyber Security, University of Chinese Academy of Sciences · Baidu Inc.
用L0正则化与增广拉格朗日约束学习全局/局部注意力的最优分配，实现可控稀疏并揭示底层局部、中层全局的一致结构
📌 工作参考价值（4 点）
- 部署长上下文LLM（如query理解、会话摘要）时，可用ConSA动态决定哪些层/头用全局注意力、哪些用滑动窗口，在几乎不降性能的同时减少KV cache和推理计算。
- 借鉴可控稀疏思想，在推荐系统的Transformer中为不同用户行为序列（短期 vs. 长期）分配不同的注意力范围，用类似L0-拉格朗日方法学习分配。
- 增广拉格朗日约束可精确满足目标稀疏率，适合在业务中需要严格控制资源预算的场景（例如单机GPU限制）。
- 手工设计混合注意力时可参考已发现的规律：底层放局部注意力、中层放全局注意力，避免均匀交错模式。
Moebius：0.2B轻量级图像修复框架，性能比肩10B模型
🧭 图像修复轻量化 · 知识蒸馏
Huazhong University of Science and Technology · VIVO AI Lab
通过新型骨干块与自适应多粒度蒸馏，用2%参数实现超10倍推理加速，修复质量媲美10B级工业模型
📌 工作参考价值（4 点）
- 骨干块中的 Local-λ 和 Interactive-λ 模块将空间与语义信息压缩为固定线性矩阵，大幅减少参数，这种“张量分解”式的特征交互压缩思路可直接用于推荐模型中的 MLP 层或 Attention 层压缩，降低推理成本。
- 自适应多粒度蒸馏策略在潜在空间动态平衡像素、语义等多层级损失，无需解码回像素空间，该方法可迁移到排序模型的知识蒸馏中：在 embedding 或 logits 层直接进行多目标蒸馏，避免昂贵的全图输出，提升效率。
- 将 10B 通用大模型的专业能力蒸馏到 0.2B 任务专用模型，在推荐场景可借鉴为：用大规模通用推荐模型（如 LLM4Rec）蒸馏出针对特定业务（如服饰 Occlusion 预测、商品图补全）的高效小模型，降低延迟。
- 整体框架强调“极致压缩 + 针对性蒸馏”，启发我们在 Agent 工具调用或搜索结果补全等实时性要求高的任务中，构造一个能快速执行的轻量 specialist，而非依赖厚重通用模型。